Isaac Stern sinh ra ở Kremenets, Ba Lan (nay là Ukraine), trong một gia đình Do Thái. Ông là con trai của Solomon và Clara Stern.[2] Khi mới 14 tháng tuổi, ông cùng gia đình chuyển đến San Francisco vào năm 1921. Ông được học những bài học âm nhạc đầu đời từ mẹ của mình. Năm 1928, ông đăng ký học tại Nhạc viện San Francisco, nơi ông theo học cho đến năm 1931 trước khi học riêng với Louis Persinger.[3] Ông trở lại Nhạc viện San Francisco để học trong 5 năm với Naoum Blinder, người mà ông nói rằng mình mang ơn nhiều nhất.[4] Khi ra mắt công chúng vào ngày 18 tháng 2 năm 1936 ở tuổi 15, ông chơi bản concerto cho vĩ cầm số 3 cung Si thứ của Saint-Saëns với dàn nhạc giao hưởng San Francisco dưới sự chỉ đạo của nhạc trưởng Pierre Monteux. Suy ngẫm về lý lịch của mình, Stern đã từng châm biếm một cách đáng nhớ rằng giao lưu văn hóa giữa Hoa Kỳ và nước Nga Xô Viết chỉ là chuyện đơn giản:

Trong Thế chiến thứ hai, Stern bị từ chối nghĩa vụ quân sự vì bàn chân bị bẹt. Sau đó ông gia nhập United Service Organization và biểu diễn cho quân đội Hoa Kỳ.[6] Trong một buổi biểu diễn cho quân đội ở Guadalcanal, một người lính Nhật Bản đã bị mê hoặc bởi phong thái biểu diễn của ông nên người lính ấy đã lẻn vào, giả làm khán giả là các nhân viên Hoa Kỳ đang nghe màn trình diễn của ông trước khi trốn ra ngoài.[7][8]

Stern đã đi lưu diễn ở Liên Xô vào năm 1951, và là nghệ sĩ vĩ cầm người Mỹ đầu tiên thực hiện điều này.[2] Năm 1967, Stern tuyên bố từ chối quay trở lại Liên Xô cho đến khi chế độ Liên Xô cho phép các nghệ sĩ tự do ra vào đất nước. Chuyến thăm duy nhất của ông đến Đức là vào năm 1999 để giảng dạy cho một loạt các lớp học chuyên môn (master claass), nhưng ông chưa bao giờ biểu diễn công khai ở Đức.[2]

Stern kết hôn ba lần. Cuộc hôn nhân đầu tiên của ông bắt đầu vào năm 1948 với nữ diễn viên ballet Nora Kaye, nhưng chỉ diễn ra trong vòng 18 tháng, nhưng sau đó hai người vẫn là bạn bè.[9] Vào ngày 17 tháng 8 năm 1951, ông kết hôn với Vera Lindenblit (1927–2015). Họ có với nhau 3 người con, bao gồm nhạc trưởng Michael và David Stern. 43 năm sau, cuộc hôn nhân của họ kết thúc khi ly hôn vào năm 1994. Năm 1996, Stern kết hôn với người vợ thứ ba, Linda Reynolds. Sau khi qua đời, ông để lại người vợ góa, ba người con cùng năm người cháu.[2]

Stern qua đời ngày 22 tháng 9 năm 2001 vì suy tim tại bệnh viện Manhattan, New York sau một thời gian dài lưu trú tại đây.[2]